Sau trận Quan Độ, Viên Thiệu suy sụp, ốm nặng rồi qua đời tháng 5 năm 202. Mẹ ông là Lưu thị ghen với 5 người vợ thứ khác của Viên Thiệu nên muốn giết hết họ. Viên Thượng nghe theo, bèn giết cả năm người chôn theo Viên Thiệu[2].

Anh cả Viên Thượng là Viên Đàm tranh ngôi thừa kế với ông. Viên Đàm có Tân Bình và Quách Đồ ủng hộ, còn Viên Thượng được Thẩm Phối và Phùng Kỷ ủng hộ. Thẩm Phối và Phùng Kỷ tôn Viên Thượng làm Châu mục Ký châu kiêm đốc Ký U Tinh Thanh tứ châu quân sự, tức là kế nghiệp Viên Thiệu. Viên Đàm tự xưng là Xa kỵ tướng quân.

Hai anh em bất hòa nhưng vẫn liên minh chống Tào Tháo khi họ Tào khởi đại binh đánh Hà Bắc. Viên Đàm đóng ở Lê Dương, Viên Thượng giữ Nghiệp Thành. Năm 203, Tào Tháo sau nhiều tháng đánh Ký châu không được, nên theo kế của Quách Gia rút quân về nam để anh em họ Viên đánh nhau.

Quân Tào rút lui, anh em họ Viên lại xung đột. Viên Thượng giao cho Thẩm Phối giữ Nghiệp Thành (thủ phủ Ký châu), còn mình mang quân đánh Thanh châu. Viên Đàm thua trận, bị Viên Thượng truy kích đến Bình Nguyên – thủ huyện của Thanh châu.

Tào Tháo bèn mang quân đánh Hà Bắc với danh nghĩa cứu viện cho Viên Đàm. Viên Thượng sợ hãi vội rút quân về giữ Nghiệp Thành. Hai đại tướng của ông là Lã Khoáng và Lã Tường quay sang đầu hàng Tào Tháo. Tào Tháo thu nhận rồi rút quân về nam, cho anh em họ Viên tiếp tục đánh nhau.

Quả nhiên Viên Thượng lại mang quân tới đánh Bình Nguyên. Trong lúc Viên Thượng đang giằng co với Viên Đàm ở Thanh châu thì đầu năm 204 Tào Tháo khởi đại binh đến đánh Nghiệp Thành.